requests 模块

import requests 
url = 'https://www.baidu.com' 
response = requests.get(url)
print(response.text)

1> response响应对象

import requests 
url = 'https://www.baidu.com' 
response = requests.get(url)
# print(response.text)
print(response.content.decode())

① response.text 和response.content的区别：

a. response.text

  • 类型：str
  • 解码类型： requests模块自动根据HTTP 头部对响应的编码作出有根据的推测，推测的文本编码

b. response.content

  • 类型：bytes
  • 解码类型： 没有指定

② 通过对response.content进行decode，来解决中文乱码

  • response.content.decode() # 默认utf-8
  • response.content.decode("GBK")

③ response响应对象的其它常用属性或方法

属性 说明
response.url 响应的url，有时候响应的url和请求的url并不一致
response.status_code 响应状态码
response.request.headers 响应对应的请求头
response.headers 响应头
response.request._cookies 响应对应请求的cookie，返回cookieJar类型
response.cookies 响应的cookie(经过了set-cookie动作，返回cookieJar类型)
response.json() 自动将json字符串类型的响应内容转换为python对象（dict or list）

2> requests模块发送请求

① 发送带header的请求

import requests
url = 'https://www.baidu.com'

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# 在请求头中带上User-Agent，模拟浏览器发送请求
response = requests.get(url, headers=headers) 

print(response.content)
# 打印请求头信息
print(response.request.headers)

② 发送带参数的请求

a. 在url中携带参数

import requests

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

url = 'https://www.baidu.com/s?wd=python'

response = requests.get(url, headers=headers)

b. 通过params携带参数字典

import requests

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# 这是目标url
# url = 'https://www.baidu.com/s?wd=python'

# 最后有没有问号结果都一样
url = 'https://www.baidu.com/s?'

# 请求参数是一个字典 即wd=python
kw = {'wd': 'python'}

# 带上请求参数发起请求，获取响应
response = requests.get(url, headers=headers, params=kw)

print(response.content)

③ 在headers参数中携带cookie

网站经常利用请求头中的Cookie字段来做用户访问状态的保持

import requests

url = 'https://github.com/USER_NAME'

# 构造请求头字典
headers = {
    # 从浏览器中复制过来的User-Agent
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36',
    # 从浏览器中复制过来的Cookie
    'Cookie': 'xxx这里是复制过来的cookie字符串'
}

# 请求头参数字典中携带cookie字符串
response = requests.get(url, headers=headers)

print(response.text)

④ cookies参数的使用

在headers参数中可以携带cookie，也可以使用专门的cookies参数； cookie一般是有过期时间的，一旦过期需要重新获取

a. cookies参数的形式：字典

cookies = {"cookie的name":"cookie的value"}
  • 该字典对应请求头中Cookie字符串，以分号、空格分割每一对字典键值对
  • 等号左边的是一个cookie的name，对应cookies字典的key
  • 等号右边对应cookies字典的value

b. cookies参数的使用方法

response = requests.get(url, cookies)

c. 将cookie字符串转换为cookies参数所需的字典：

cookies_dict = {cookie.split('=')[0]:cookie.split('=')[-1] for cookie in cookies_str.split('; ')}
import requests

url = 'https://github.com/USER_NAME'

# 构造请求头字典
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'
}
# 构造cookies字典
cookies_str = '从浏览器中copy过来的cookies字符串'

cookies_dict = {cookie.split('=')[0]:cookie.split('=')[-1] for cookie in cookies_str.split('; ')}

# 请求头参数字典中携带cookie字符串
resp = requests.get(url, headers=headers, cookies=cookies_dict)

print(resp.text)

⑤ cookieJar对象转换为cookies字典的方法

使用requests获取的resposne对象，具有cookies属性。该属性值是一个cookieJar类型，包含了对方服务器设置在本地的cookie。

a. 转换方法

cookies_dict = requests.utils.dict_from_cookiejar(response.cookies)

⑥ 超时参数timeout的使用

import requests
url = 'https://youku.com'
response = requests.get(url, timeout=3)

⑦ proxies代理参数的使用

proxies = { 
    "http": "http://12.34.56.79:9527", 
    "https": "https://12.34.56.79:9527", 
}
response = requests.get(url, proxies=proxies)

⑧ 使用verify参数忽略CA证书

import requests
url = "https://sam.huat.edu.cn:8443/selfservice/" 
response = requests.get(url,verify=False)

3> requests模块发送post请求

  1. 登录注册（ 在web工程师看来POST 比 GET 更安全，url地址中不会暴露用户的账号密码等信息）
  2. 需要传输大文本内容的时候（ POST 请求对数据长度没有要求）

① requests发送post请求的方法

  • response = requests.post(url, data)
  • data参数接收一个字典
  • requests模块发送post请求函数的其它参数和发送get请求的参数完全一致

4> 利用requests.session进行状态保持

requests模块中的Session类能够自动处理发送请求获取响应过程中产生的cookie，进而达到状态保持的目的。

① requests.session使用方法

session = requests.session() # 实例化session对象
response = session.get(url, headers, ...)
response = session.post(url, data, ...)